Zakon velikih števil

Ne zamenjajte za zakon zares velikih števil.

Prikaz zakona velikih števil z določeno izvedbo metov ene igralne kocke. Ko se število metov v tej izvedbi veča, se srednje vrednosti vseh rezultatov približujejo vrednosti 3,5. Čeprav bo vsaka izvedba z malih številom metov (na levi) kazala razločno obliko, bo oblika večjega števila metov (na desni) skrajno podobna.

Zákon velíkih števíl je v verjetnostnem računu in statistiki osnovni limitni izrek, ki opisuje rezultat izvajanja istega poskusa zelo velikokrat. Po zakonu mora biti srednja vrednost rezultatov, pridobljenih iz velikega števila poskusov, blizu pričakovane vrednosti, njena vrednost pa se vedno bolj približuje pričakovani vrednosti, če se izvaja vedno več poskusov.

Zakon velikih števil je pomemben, saj zagotavlja stabilne dolgoročne rezultate za srednje vrednosti poljubnih naključnih dogodkov. Čeprav bo mogoče na primer kazina v enem zasuku kolesa rulete izgubila denar, se bodo z velikim številom zasukov vrednosti njenih zaslužkov približevale napovedljivemu odstotku. Vsak zmagovalni niz igralca bodo premagali parametri igre. Pomembno si je zapomniti, da zakon velja le, (kakor nakazuje tudi njegovo ime), kadar se obravnava veliko število opazovanj. Ne obstaja načelo, da bo malo število opazovanj sovpadalo s pričakovano vrednostjo, ali, da bo zmagovalni niz ene vrednosti takoj »uravnotežen« z drugimi (glej hazarderska zmota).

Zgledi

Met igralne kocke

Vsak met poštene (šeststrane) igralne kocke bo dal zalogo vrednosti števil $X_{k}=\{x_{k}\}=\{1,2,3,4,5,6\}\!\,$, vsako z enako verjetnostjo $\mathbb {P} (X_{k})=1/6\!\,$ in funkcijo verjetnosti $p_{X}(x_{k})=1/6\!\,$. Tako je pričakovana vrednost povprečne vrednosti metov enaka:

$\mathbb {E} (X)=\sum _{k=1}^{6}x_{k}\ p_{X}(x_{k})=1\cdot {\frac {1}{6}}+2\cdot {\frac {1}{6}}+3\cdot {\frac {1}{6}}+4\cdot {\frac {1}{6}}+5\cdot {\frac {1}{6}}+6\cdot {\frac {1}{6}}={\frac {1+2+3+4+5+6}{6}}={\frac {21}{6}}={\frac {7}{2}}=3,5\!\,.$

Pričakovani standardni odklon je enak:

$\sigma ={\sqrt {\mathbb {V} (X)}}={\sqrt {\frac {\sum _{k=1}^{6}\left(x_{k}-\mathbb {E} (X)\right)^{2}}{6}}}=\ldots ={\sqrt {\frac {35}{12}}}=1,7078...\!\,.$

Po zakonu velikih števil, če se vrže veliko metov poštene igralne kocke, bo srednja vrednost njihovih vrednosti (včasih imenovana vzorčna sredina) zelo verjetno blizu vrednosti 3,5 z večjo točnostjo pri večjem številu metov.

Iz zakona velikih števil sledi, da bo empirična verjetnost ugodnega izida v nizu Bernoullijevih poskusov konvergirala k teoretični verjetnosti. Za Bernoullijevo slučajno spremenljivko je pričakovana vrednost teoretična verjetnost ugodnega izida, srednja vrednost $n\!\,$ takšnih spremenljivk, kjer se privzame, da so neodvisne in enakomerno porazdeljene (n.e.p.), pa je ravno relativna frekvenca (empirična verjetnost).

Met kovanca

Met poštenega kovanca je na primer Bernoullijev poskus. Tu je $X_{k}=\{x_{k}\}=\{{\check {s}},g\}\sim \{0,1\}\sim \{1,2\}\!\,$. Ko se pošteni kovanec vrže enkrat, bo teoretična verjetnost, da bo padla številka, enaka $\mathbb {P} (X_{k})=1/2\!\,$. Zato bo po zakonu velikih števil razmerje padlih številk v »velikem« številu metov kovanca v grobem enako $1/2\!\,$. Še posebej bo razmerje padlih številk po $n\!\,$ metih skoraj gotovo konvergiralo k $1/2\!\,$, ko se bo $n\!\,$ približeval neskončnosti.

Čeprav se razmerje padlih številk (cifer) (in grbov (glav, mož)) približuje $1/2\!\,$, bo absolutna razlika števila padlih številk in grbov skoraj gotovo postala velika, ko bo število metov postalo veliko. Zato se verjetnost, da je absolutna razlika majhno število, približuje nič, ko število metov postane veliko. Tudi razmerje med absolutno razliko in številom metov se bo skoraj gotovo približevalo ničli:

$|n_{\text{š}}-n_{\text{g}}|\not \to 0,\quad {\frac {|n_{\text{š}}-n_{\text{g}}|}{n}}\to 0\!\,.$

Pričakovana razlika intuitivno narašča, vendar v manjši meri kot število metov.

Metode Monte Carlo

Drugi dober zgled je zakon velikih števil metode Monte Carlo. Te metode so širok razred izračunavalnih algoritmov, ki se za pridobitev numeričnih rezultatov zanašajo na naključno vzorčenje. Večje je število ponovitev, boljša bo aproksimacija. Razlog, da je ta metoda pomembna, je v glavnem v tem, da je včasih težko ali nemogoče uporabiti druge pristope.

Omejitev

Srednja vrednost rezultatov, pridobljenih z velikim številom poskusov, v nekaterim primerih morda ne bo konvergirala. Srednja vrednost $n\!\,$ rezultatov iz Cauchyjeve porazdelitve ali nekaterih Paretovih porazdelitev (s pomembnostjo $\alpha <1\!\,$) na primer ne bodo konvergirale, ko bo $n\!\,$ narastel čez vse meje – razlog je porazdelitev s težkimi repi. Cauchyjeva in Paretova porazdelitev predstavljata dva primera – Cauchyjeva porazdelitev nima pričakovanja, pričakovanje Paretove porazdelitve ($\alpha <1\!\,$) pa je neskončno. V drugem primeru so naključna števila enaka tangenti kota, enakomerno porazdeljenega med −90° in +90°. Mediana je enaka nič, pričakovana vrednost pa ne obstaja – povprečje $n\!\,$ takšnih spremenljivk ima res enako porazdelitev kot ena takšna spremenljivka. Verjetnostno ne konvergira proti nič (ali h katerikoli drugi vrednosti), ko gre $n\!\,$ proti neskončnosti.

Zgodovina

Difuzija je zgled zakona velikih števil. Na začetku obstajajo raztopljene molekule na levi strani pregrade (škrlatna črta) in nobena na desni strani. Pregrada se odstrani in raztopina difundira po celotni posodi.
Na vrhu: z eno molekulo je gibanje videti precej naključno.
V sredini: z več molekulami je razvidna jasna tendenca, kjer raztopina polni posodo vedno bolj enakomerno z občasnimi naključnimi fluktuacijami.
Spodaj: z velikanskim številom raztopljenih molekul (preveč, da bi se videle), nakjučnost bistveno izgine – raztopina, kot je videti, se giblje gladko in sistematično iz območij z visoko koncentracijo v območja z nizko koncentracijo. V stvarnih razmerah lahko kemiki opišejo difuzijo kot deterministični makroskopski fenomen (glej difuzijski zakon], navkljub njeni podvrženi naključni naravi.

Italijanski matematik Gerolamo Cardano (1501–1576) je brez dokaza navedel, da se točnosti empiričnih statistik izboljšujejo z večjim številom poskusov. To je bilo potem formalizirano kot zakon velikih števil. Cardanova matematika je pripadala obdobju v katerem se je izraz slutil s pomočjo formul. Zakona eksplicitno na ta način ni zmogel zapisati, vendar se bo po njem dogodek zgodil z vrednostjo, ki je blizu $n\mathbb {P} \!\,$, če je verjetnost zanj $\mathbb {P} \!\,$ in $n\!\,$ veliko število ponavljanj.

Posebno obliko zakona velikih števil (za dvojiško slučajno spremenljivko) je prvi dokazal Jakob Bernoulli. Za razvoj dovolj strogega matematičnega dokaza je potreboval 20 let. Objavil ga je v četrtem delu svojega dela Umetnost domnevanja (Ars Conjectandi) leta 1713. To je imenoval »zlati izrek«, vendar je postal splošno znan kot »Bernoullijev izrek«. Ne sme se zamenjevati z Bernoullijevim načelom, imenovanim po njegovem nečaku Danielu Bernoulliju. Verjetnost po tem ni bila le matematični abstraktni koncept, ampak je bila količina, ki se je lahko z naraščajočim številom vzorcev ocenila s povečanim zaupanjem. Leta 1837 je Siméon-Denis Poisson izrek naprej opisal pod imenom »zakon velikih števil« (»la loi des grands nombres«). Tako je bil zakon znan pod obema imenoma, vendar se »zakon velikih števil« rabi pogosteje.

Po objavi Bernoullijevih in Poissonovih prizadevanj so tudi drugi matematiki prispevali k prečiščenju zakona, med drugim Čebišov, Markov, Borel, Cantelli in Kolmogorov ter Hinčin. Čebišov je podal splošno formulacijo zakona velikih števil – če so pričakovane vrednosti niza slučajnih spremenljivk in kvadrati teh pričakovanj v celoti končni, bo aritmetična sredina z njihovo rastjo zelo verjetno konvergirala k aritmetični sredini njihovih pričakovanj. Markov je pokazal, da se lahko zakon uporabi za slučajno spremenljivko, ki pod določenim drugim šibkejšim privzetkom nima končne variance, Hinčin pa je leta 1929 pokazal, da, če je vrsta sestavljena iz neodvisno enakomerno porazdeljenih slučajnih spremenljivk, je dovolj, da za veljavnost šibkega zakona velikih števil pričakovana vrednost obstaja. Ta nadaljnja raziskovanja so dala dve pomembni obliki zakona velikih števil. Ena se imenuje »šibki« zakon, druga pa »krepki« zakon, glede na dva različna načina konvergence kumulativne vzorčne sredine k pričakovani vrednosti – še posebej, kakor je pojasnjeno spodaj – iz krepke oblike sledi šibka oblika zakona.

Dve obliki zakona

Obstajata dve različni različici zakona velikih števil, ki sta opisani spodaj. Imenujeta se krepki zakon velikih števil in šibki zakon velikih števil. Zakona za primer kjer je $X_{1},X_{2},\cdots \!\,$ neskončno zaporedje neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk integrabilnih po Lebesgu s pričakovano vrednostjo $\mathbb {E} (X_{1})=\mathbb {E} (X_{2})=\ldots =\mu \!\,$ v obeh oblikah pravita, da z navidezno gotovostjo vzorčna sredina:

${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+X_{2}+\cdots +X_{n})\!\,$

konvergira k pričakovani vrednosti :

${\overline {X}}_{n}\to \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.$

(1. zakon)

(Integrabilnost po Lebesgu $X_{j}\!\,$ pomeni, da pričakovana vrednost $\mathbb {E} (X_{j})\!\,$ obstaja glede na Lebesguov integral in je končna. Ne pomeni, da je povezana mera verjetnosti absolutno zvezna glede na Lebesguovo mero.)

Na podlagi (nepotrebnega – glej spodaj) privzetka o končni varianci $\mathbb {V} (X_{i})=\sigma ^{2}\!\,$ (za vsak $i\!\,$) in brez korelacije med slučajnimi spremenljivkami, je varianca srednje vrednosti $n\!\,$ slučajnih spremenljivk enaka:

$\mathbb {V} ({\overline {X}}_{n})=\mathbb {V} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\mathbb {V} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}\!\,.$

Ta privzetek o končni varianci $\mathbb {V} (X_{1})=\mathbb {V} (X_{2})=\ldots =\sigma ^{2}<\infty$ ni potreben. Zaradi večje ali neskončne variance bo konvergenca počasnejša, zakon velik števil pa bo vseeno veljal. Ta privzetek se pogosto rabi, saj so dokazi lažji in krajši.

Obojestranska neodvisnost slučajnih spremenljivk se lahko zamenja z neodvistnostjo po parih v obeh različicah zakona.

Razliko med krepko in šibko različico upošteva način konvergence, ki se obravnava. Za interpretacijo teh načinov glej konvergenca slučajnih spremenljivk.

Šibki zakon

Simulacija, ki prikazuje zakon velikih števil. V vsakem koraku se vrže kovanec, ki je na eni strani rdeč, na drugi pa moder. V ustrezni stolpec se doda pika. Tortni diagram kaže razmerje med rdečo in modro barvo strani kovanca, vrženega do tedaj. V začetku se razmerje sicer zelo spreminja, potem pa se z večanjem števila metov približuje vrednosti 50 %.

Šibki zakon velikih števil (imenovan tudi Hinčinov zakon) pravi, da vzorčna sredina verjetnostno konvergira k pričakovani vrednosti:

${\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\mathbb {P} } \ \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.\\{}\end{matrix}}$

(2. zakon)

Tako za poljubno pozitivno število $\varepsilon \!\,$ velja:

$\lim _{n\to \infty }\mathbb {P} \!\left(\,|{\overline {X}}_{n}-\mu |\geq \varepsilon \,\right)=0\!\,.$

Šibki zakon ob opisu tega rezultata pravi, da bo za poljubno neničelno mejo, ne glede na to kako majhna je, z dovolj velikim vzorcem obstajala zelo velika verjetnost, da bo srednja vrednost opazovanj blizu pričakovane vrednosti – to je znotraj te meje.

Kakor je omenjeno prej, šibki zakon velja za primer neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk, velja pa tudi v nekaterih drugih primerih. Varianca je lahko na primer za vsako slučajno spremenljivko v nizu različna, pri čemer je pričakovana vrednost konstantna. Če je varianca omejena, zakon velja, kakor je pokazal Čebišov že leta 1867. (Če se pričakovane vrednosti med nizom spreminjajo, se lahko zakon preprosto uporabi za povprečni odmik od ustrezne pričakovane vrednosti. Zakon potem pravi, da to verjetnostno konvergira k nič.) Dejansko dokaz Čebišova deluje tako dolgo, dokler gre varianca povprečja prvih $n\!\,$ vrednosti proti nič, ko gre $n\!\,$ proti neskončnosti. Naj se na primer privzame, da za vsako slučajno spremenljivko v nizu velja Gaussova porazdelitev s srednjo vrednostjo enako 0, vrednostjo variance pa $2n/\log(n+1)\!\,$, ki ni omejena. V vsakem koraku bo povprečje normalno porazdeljeno (kot povprečje množice normalno porazdeljenih sprememnljivk). Varianca vsote je enaka vsoti varianc, ki je asimptota k $n^{2}/\log n\!\,$. Varianca povprečja je tako asimptotična k $1/\log n\!\,$ in gre k nič.

Obstajajo tudi primeri šibkega zakona, ki velja četudi pričakovana vrednost ne obstaja.

Krepki zakon

Krepki zakon velikih števil (imenovan tudi zakon Kolmogorova) pravi, da vzorčna sredina skoraj gotovo konvergira k pričakovani vrednosti:

${\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\text{s.g.}} \ \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.\\{}\end{matrix}}$

(3. zakon)

Tako velja:

$\mathbb {P} \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1\!\,.$

To pomeni, da je verjetnost, da bo srednja vrednost opazovanj konvergirala k pričakovani vrednosti, ko gre število poskusov $n\!\,$ proti neskončnosti, enaka 1.

Dokaz je bolj zapleten od dokaza šibkega zakona. Ta zakon opravičuje intuitivno interpretacijo pričakovane vrednosti (le za Lebesguov integral) slučajne spremenljivke, ko se večkrat vzorči kot »povprečje na dolgi rok«.

Skoraj gotova konvergenca se imenuje tudi krepka konvergenca slučajnih spremenljivk. Ta različica se imenuje krepki zakon, ker bodo slučajne spremenljivke, ki konvergirajo krepko (skoraj gotovo), zagotovo konvergirale šibko (verjetnostno, v verjetnosti). Vendar je za šibki zakon znano, da velja v določenih pogojih, v katerih krepki zakon ne velja, in je tedaj konvergenca le šibka (verjetnostno). Glej #Razlike med šibkim in krepkim zakonom.

Na sam krepki zakon velikih števil se lahko gleda kot na posebni primer točkovnega ergodičnega izreka

Krepki zakon velja za neodvisne enakomerno porazdeljene slučajne spremenljivke, ki imajo pričakovano vrednost (kakor šibki zakon). To je dokazal Kolmogorov leta 1930. Velja lahko tudi v drugih primerih. Kolmogorov je leta 1933 dokazal tudi, da, če so spremenljivke neodvisne in enakomerno porazdeljene, potem je, da bo povprečje skoraj gotovo konvergiralo k nečemu (ta velja za drugo obliko krepkega zakona), potrebno, da imajo pričakovano vrednost (in bo potem seveda povprečje skoraj gotovo konvergiralo k temu).

Če so sumandi neodvisni ne pa tudi enakomerno porazdeljeni, velja:

${\overline {X}}_{n}-\mathbb {E} {\big (}{\overline {X}}_{n}{\big )}\ \xrightarrow {\text{s.g.}} \ 0\!\,,$

tako, da ima vsak $X_{k}\!\,$ končni drugi moment, in:

$\sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\mathbb {V} [X_{k}]<\infty \!\,.$

Ta izjava je znana kot krepki zakon Kolmogorova, glej na primer Sen; Singer (1993), Izrek 2.3.10.

Zgled niza v katerem velja šibki zakon ne pa krepki zakon je kadar je $X_{k}\!\,$ enak plus ali minus ${\sqrt {k/\log \log \log k}}\!\,$ (s pričetkom v dovolj velikem $k\!\,$, da je imenovalec pozitiven) z verjetnostjo enako $1/2\!\,$ za vsakega. Varianca $X_{k}\!\,$ je potem enaka $k/\log \log \log k\!\,$. Krepkizakon Kolmogorova ne velja, ker je delna vsota v njegovem kriteriju do $k=n\!\,$ asimptotična k $\log n/\log \log \log n\!\,$, kar je brez meje.

Če se slučajne spremenljivke zamenja z Gaussovimi spremenljivkami z enako varianco, namreč ${\sqrt {k/\log \log \log k}}\!\,$, bo povprečje v vsaki točki tudi normalno porazdeljeno. Širina porazdelitve povprečja se bo približevala nič (standardni odklon k $1/{\sqrt {2\log \log \log n}}\!\,$), za dano število $\varepsilon \!\,$ obstaja verjetnost, ki z naraščajočim $n\!\,$ ne gre proti nič, povprečje pa včasih po $n\!\,$-tem poskusu gre nazaj k $\varepsilon \!\,$. Ker širina porazdelitve povprečja ni enaka nič, mora imeti pozitivno spodnjo mejo $\mathbb {P} (\varepsilon )\!\,$, kar pomeni, da obstaja verjetnost enaka vsaj $\mathbb {P} (\varepsilon )\!\,$, da bo povprečje doseglo $\varepsilon \!\,$ po $n\!\,$ poskusih. To se bo zgodilo z verjetnostjo enako $\mathbb {P} (\varepsilon )/2\!\,$ pred določenim $m\!\,$, kar je odvisno od $n\!\,$. Vendar tudi po $m\!\,$ poskusih obstaja še vedno verjetnost enaka vsaj $\mathbb {P} (\varepsilon )\!\,$, da se bo to zgodilo. (To zgleda nakazuje, da je $\mathbb {P} (\varepsilon )=1\!\,$, povprečje pa bo doseglo $\varepsilon \!\,$ neskončno mnogokrat.)

Razlike med šibkim in krepkim zakonom

Šibki zakon pravi, da bo za poljubni veliki $n\!\,$ povprečje ${\overline {X}}_{n}\!\,$ verjetno blizu $\mu \!\,$. Tako pušča odprto vprašanje verjetnosti, da se bo $|{\overline {X}}_{n}-\mu |>\varepsilon \!\,$ zgodilo neskončno mnogokrat, čeprav ne v rednih intervalih. (Ni nujno, da velja $|{\overline {X}}_{n}-\mu |\neq 0\!\,$ za vse $n\!\,$).

Krepki zakon kaže, da se to skoraj gotovo ne bo zgodilo. Iz njega še posebej izhaja, da z verjetnostjo enako 1 za poljubni $\varepsilon >0\!\,$ neenakost $|{\overline {X}}_{n}-\mu |<\varepsilon \!\,$ velja za dovolj veliki $n\!\,$.

Krepki zakon ne velja v naslednjih primerih, šibki pa velja:

1. Naj je $X\!\,$ eksponentno porazdeljena slučajna spremenljivka s parametrom 1. Slučajna spremenljivka $\sin(X)e^{X}X^{-1}\!\,$ po Lebesguovem integralu nima pričakovane vrednosti, vendar se s pogojno konvergenco in interpretacijo integrala kot Dirichletov integral, ki je nepravi Riemannov integral, lahko zapiše:

$\mathbb {E} \left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}\,\mathrm {d} x={\frac {\pi }{2}}\!\,.$

2. Naj je $x\!\,$ geometrična porazdelitev z verjetnostjo $\mathbb {P} =1/2\!\,$. Slučajna spremenljivka $2^{X}(-1)^{X}X^{-1}\!\,$ v običajnem smislu nima pričakovane vrednosti, ker neskončna vrsta ni absolutno konvergentna. S pogojno konvergenco pa se lahko zapiše:

$\mathbb {E} \left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln 2\!\,.$

3. Če je zbirna funkcija verjetnosti slučajne spremenljivke enaka:

$1-F(x)={\frac {e}{2x\ln x}},\qquad x\geq e\!\,,$

$F(x)={\frac {e}{-2x\ln(-x)}},\qquad x\leq -e\!\,,$

potem nima pričakovane vrednosti, šibki izrek pa velja.

Enolični zakon velikih števil

Naj je $f(x,\theta )\!\,$ neka funkcija definirana za $\theta \in \Theta \!\,$ in zvezna za $\theta \!\,$. Potem bo za poljubni $\theta \!\,$ zaporedje $\{f(X_{1},\theta ),f(X_{2},\theta ),\ldots \}\!\,$ takšno zaporedje neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk, da bo vzorčna sredina tega zaporedja konvergirala verjetnostno k $\mathbb {E} \left(f(X,\theta )\right)\!\,$. To je točkovna konvergenca (v $\theta \!\,$).

Enolični zakon velikih števil podaja pogoje pod katerimi se konvergence v $\theta \!\,$ zgodijo enolično. Če je:

1. $\Theta \!\,$ kompaktna,
2. $f(x,\theta )\!\,$ zvezna v vsaki $\theta \in \Theta \!\,$ za skoraj vse spremenljivke $x\!\,$ in merljiva funkcija spremenljivke $x\!\,$ v vsaki $\theta \!\,$,
3. potem obstaja takšna prevladujoča funkcija $d(x)\!\,$, da je $\mathbb {E} \left(d(X)\right)<\infty \!\,$ in

   $\left\|f(x,\theta )\right\|\leq d(x)\quad {\text{za vse}}\ \theta \in \Theta \!\,.$

Potem je $\mathbb {E} \left(f(X,\theta )\right)\!\,$ zvezna v $\theta \!\,$ in:

$\sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\mathbb {E} \left(f(X,\theta )\right)\right\|\xrightarrow {\text{s.g.}} \ 0\!\,.$

Ta rezultat je uporaben za izpeljavo konsistence velikega razreda cenilk (glej ekstremalna cenilka).

Borelov zakon velikih števil

Borelov zakon velikih števil iz leta 1909, imenovan po Émileu Borelu, pravi, da, če se poskus ponavlja velikokrat, neodvisno pod enakimi pogoji, je razmerje kolikokrat se poljubni določeni dogodek pojavi, približno enako verjetnosti pojavitve dogodka v poljubnem posameznem poskusu – večje je število ponavljanj, boljši bo približek. Točneje, če $A\!\,$ označuje iskani dogodek, $\mathbb {P} \!\,$ verjetnost njegove pojavitve in $N_{n}(A)\!\,$ število kolikokrat se dogodek $A\!\,$ pojavi v prvih $n\!\,$ poskusih, bo z verjetnostjo 1:

${\frac {N_{n}(A)}{n}}\to \mathbb {P} ,\quad {\text{ ko gre }}n\to \infty \!\,.$

Izrek strogo podaja intuitivno predstavo verjetnosti kot dolgoročni relativni frekvenci pojavitve dogodka. Je posebni primer enega od več splošnejših zakonov velikih števil v verjetnostnem računu.

Neenakost Markova (prva neenakost Čebišova): če je $X\!\,$ nenegativna slučajna spremenljivka, za poljubno realno število $k>0\!\,$ velja:

$\mathbb {P} \left(|X-\mu |\geq k\sigma (X)\right)\leq {\frac {1}{k}}\!\,.$

Neenakost Čebišova (druga neenakost Čebišova). Neenakost ocenjuje kakšna je verjetnost, da se slučajna spremenljivka veliko razlikuje od končne pričakovane vrednosti $\mu \!\,$. Naj je $Y\!\,$ poljubna realna slučajna spremenljivka s končno pričakovano vrednostjo $\mu \!\,$ in končno neničelno varianco $\sigma ^{2}\!\,$. Neenakost Čebišova sledi iz neenakosti Markova za $X=|Y-\mathbb {E} (Y)|^{2}\!\,$. Za vsako realno število $k>0\!\,$ velja:

$\mathbb {P} \left(|Y-\mu |\geq k\sigma (Y)\right)\leq {\frac {1}{k^{2}}}\!\,.$

Dokaz šibkega zakona

Za dano neskončno zaporedje neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk $X_{1},X_{2},\cdots \!\,$ s končno pričakovano vrednostjo $\mathbb {E} (X_{1})=\mathbb {E} (X_{2})=\ldots =\mu <\infty \!\,$ je treba določiti konvergenco vzorčne sredine:

${\overline {X}}_{n}={\frac {1}{n}}\left(X_{1}+X_{2}+\cdots +X_{n}\right)\!\,.$

Šibki izrek velikih števil pravi:

Izrek: ${\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\mathbb {P} } \ \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.\\{}\end{matrix}}$ (2. zakon)

Dokaz z neenakostjo Čebišova s privzetkom končne variance

Pri tem dokazu se privzame končna varianca $\mathbb {V} \left(X_{i}\right)=\sigma ^{2}\!\,$ (za vse $i\!\,$). Neodvisnost slučajnih spremenljivk narekuje, da med njimi ni korelacij. Velja tudi:

$\mathbb {V} \left({\overline {X}}_{n}\right)=\mathbb {V} \left({\frac {1}{n}}\left(X_{1}+X_{2}+\cdots +X_{n}\right)\right)={\frac {1}{n^{2}}}\mathbb {V} \left(X_{1}+X_{2}+\cdots +X_{n}\right)={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}\!\,.$

Skupna srednja vrednost $\mu \!\,$ zaporedja je srednja vrednost vzorčne sredine:

$\mathbb {P} \left({\overline {X}}_{n}\right)=\mu \!\,.$

Neenakost Čebišova za ${\overline {X}}_{n}\!\,$ da:

$\mathbb {P} \left(\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon \right)\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}\!\,.$

Od tod sledi naslednje:

$\mathbb {P} \left(\left|{\overline {X}}_{n}-\mu \right|<\varepsilon \right)=1-\mathbb {P} \left(\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon \right)\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}\!\,.$

Ko se $n\!\,$ približuje neskončnosti, vrednost izraza teži k 1. Iz definicje verjetnostne konvergence sledi:

${\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\mathbb {P} } \ \mu ,\quad {\text{ko gre}}\ n\to \infty .\\{}\end{matrix}}$ (2. zakon)

Dokaz s konvergenco karakterističnih funkcij

Po Taylorjevem izreku za kompleksne funkcije se lahko karakteristična funkcija poljubne slučajne spremenljivke $X\!\,$ s končno srednjo vrednostjo $\mu \!\,$ zapiše kot:

$\varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0\!\,.$

Vse spremenljivke $X_{1},X_{2},\ldots \!\,$ imajo enako karakteristično funkcijo, zato se lahko to označi enostavno kot $\varphi _{X}\!\,$.

Med osnovne značilnosti karakterističnih funkcij spadata:

$\varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})\quad {\text{in}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\$, če sta $X\!\,$ in $Y\!\,$ neodvisni.

S tema praviloma se lahko izračuna karakteristično funkcijo $\scriptstyle {\overline {X}}_{n}\!\,$, izraženo s $\varphi _{X}\!\,$:

$\varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({\frac {t}{n}}\right)\right]^{n}=\left[1+i\mu {\frac {t}{n}}+o\left({\frac {t}{n}}\right)\right]^{n}\,\rightarrow \,e^{it\mu },\quad {\text{ko gre}}\quad n\rightarrow \infty \!\,.$

Limita $e^{it\mu }\!\,$ je karakteristična funkcija konstantne slučajne spremenljivke $\mu \!\,$ in zaradi tega po Lévyjevem izreku zveznosti $\scriptstyle {\overline {X}}_{n}$ porazdelitveno konvergira k $\mu \!\,$:

${\overline {X}}_{n}\,\xrightarrow {\mathcal {D}} \,\mu ,\quad {\text{za}}\qquad n\to \infty \!\,.$

$\mu \!\,$ je konstanta, kar nakazuje, da sta porazdelitvena konvergenca k $\mu \!\,$ in verjetnostna konvergenca k $\mu \!\,$ enakovredni (glej konvergenca slučajnih spremenljivk.) Tako velja:

${\begin{matrix}{}\\{\overline {X}}_{n}\ \xrightarrow {\mathbb {P} } \ \mu ,\quad {\text{ko gre}}\ n\to \infty \!\,.\\{}\end{matrix}}$ (2. zakon)

To kaže, da vzorčna sredina konvergira k odvodu karakteristične funkcije v izhodišču vse dokler ta funkcija obstaja.

Posledice

Zakon velikih števil zagotavlja pričakovanje neznane porazdelitve iz realizacije zaporedja in tudi vsako značilnost verjetnostne porazdelitve. Z Borelovim zakonom velikih števil se lahko preprosto pridobi funkcija verjetnosti. Za vsak dogodek obravnavane funkcije verjetnosti se lahko aproksimira verjetnost pojavitve dogodka z razmerjem kolikokrat se poljubno določeni dogodek pojavi. Večje je število ponavljanj, boljši bo približek. Glede na zvezni primer $C=(a-h,a+h]\!\,$ za mali pozitivni $h\!\,$ tako za velik $n\!\,$ velja:

${\frac {N_{n}(C)}{n}}\thickapprox p=\mathbb {P} (X\in C)=\int _{a-h}^{a+h}f(x)\ \mathrm {d} x\!\,\thickapprox 2hf(a)$

S to metodo se lahko pokrije celotna os $x\!\,$ z mrežo (velikosti $2h\!\,$) in tvori palčni graf, ki se imenuje histogram.

Glej tudi

• asimptotična ekviparticijska značilnost
• centralni limitni izrek
• izrek o neskončni opici
• zakon sredin
• zakon iteriranega logaritma
• zakon zares velikih števil
• pojav Lindy's
• regresija k srednjemu
• žrebanje

Viri

• Bernoulli, Jakob (1713), Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis, str. § 4, (prevod v angleščino Oscar Sheynin)
• Bhattacharya, Rabi; Lin, Lizhen; Patrangenaru, Victor (2016), A Course in Mathematical Statistics and Large Sample Theory, Springer Texts in Statistics, New York, NY: Springer New York, doi:10.1007/978-1-4939-4032-5, ISBN 978-1-4939-4030-1
• Čebišov, Pafnuti Lvovič (1846), »Démonstration élémentaire d'une proposition générale de la théorie des probabilités«, Journal für die reine und angewandte Mathematik, 1846 (33): 259–267, doi:10.1515/crll.1846.33.259, S2CID 120850863
• Dekking, Michel (2005), A Modern Introduction to Probability and Statistics, Springer, str. 181–190, ISBN 9781852338961
• Etemadi, Nematollah Z. (1981), »An elementary proof of the strong law of large numbers«, Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete, 55 (1): 119–122, doi:10.1007/BF01013465, S2CID 122166046
• Geyer, Charles J. (23. januar 2013), Law of large numbers (PDF) (v angleščini)
• Gorroochurn, Prakash (2012), »Some Laws and Problems of Classical Probability and How Cardano Anticipated Them« (PDF), Chance, 24 (2): 13–20
• Grimmett, Geoffrey Richard; Stirzaker, David R. (1992), Probability and Random Processes, 2nd Edition, Oxford: Clarendon Press, ISBN 0-19-853665-8
• Durrett, Richard (1995), Probability: Theory and Examples, 2nd Edition, Duxbury Press
• Jacobsen, Martin (1992), Videregående Sandsynlighedsregning (Advanced Probability Theory) 3rd Edition, Copenhagen: HCØ-tryk, ISBN 87-91180-71-6
• Jamnik, Rajko (1985) [1981], Matematika, Matematika-fizika : zbirka univerzitetnih učbenikov in monografij; 16a, Ljubljana: Zveza organizacij za tehnično kulturo Slovenije, COBISS 140289
• Jamnik, Rajko (1987) [1964], Elementi teorije informacije, Ljubljana: Zveza organizacij za tehnično kulturo Slovenije, COBISS 3670016
• Jennrich, Robert I. (1969), »Asymptotic Properties of Non-Linear Least Squares Estimators«, The Annals of Mathematical Statistics, 40 (2): 633–643, doi:10.1214/aoms/1177697731
• Hacking, Ian (1983), »19th-century Cracks in the Concept of Determinism«, Journal of the History of Ideas, 44 (3): 455–475, JSTOR 2709176
• Hinčin, Aleksander Jakovljevič (1929), »Sur la loi des grands nombres«, Comptes rendus de l'Académie des Sciences, 189: 477–479
• Košmelj, Blaženka (2014) [1993], Statistični terminološki slovar, Kamnik: Amebis, COBISS 272985856, ISBN 978-961-6474-26-9
• Kroese, Dirk P.; Brereton, Tim; Taimre, Thomas; Botev, Zdravko I. (2014), »Why the Monte Carlo method is so important today«, Wiley Interdisciplinary Reviews: Computational Statistics (v angleščini), 6 (6): 386–392, doi:10.1002/wics.1314
• Lehmann, Erich L.; Romano, Joseph P. (30. marec 2006), Weak law converges to constant, ISBN 9780387276052
• Loève, Michel (1977), Probability theory 1 (4. izd.), Springer Verlag
• Mlodinow, L. (2008), The Drunkard's Walk, New York: Random House, str. 50
• Newey, Whitney K.; McFadden, Daniel (1994), Large sample estimation and hypothesis testing, Handbook of econometrics, vol. IV, Ch. 36, Elsevier Science, str. 2111–2245
• Poisson, Siméon-Denis (1837), Probabilité des jugements en matière criminelle et en matière civile, précédées des règles générales du calcul des probabilitiés, Pariz: Bachelier, str. 7
• Raič, Martin (20. junij 2021), Rešena naloge iz verjetnosti in statistike (PDF), pridobljeno 14. julija 2021
• Ross, Sheldon (2009), A first course in probability (8. izd.), Prentice Hall press, ISBN 978-0-13-603313-4
• Sen, Pranab Kumar; Singer, Julio da Motta (1993), Large sample methods in statistics, Chapman & Hall, Inc
• Seneta, Eugene (2013), »A Tricentenary history of the Law of Large Numbers«, Bernoulli, 19 (4): 1088–1121, arXiv:1309.6488, doi:10.3150/12-BEJSP12, S2CID 88520834
• Stöcker, Horst (2006), Matematični priročnik z osnovami računalništva, Ljubljana: Tehniška založba Slovenije, COBISS 229576192, ISBN 86-365-0587-9, OCLC 449201276
• Wen, Liu (1991), »An Analytic Technique to Prove Borel's Strong Law of Large Numbers«, The American Mathematical Monthly, 98 (2), doi:10.2307/2323947
• Yao, Kai; Gao, Jinwu (2016), »Law of Large Numbers for Uncertain Random Variables«, IEEE Transactions on Fuzzy Systems, 24 (3): 615–621, doi:10.1109/TFUZZ.2015.2466080, ISSN 1063-6706, S2CID 2238905
• Zorman, Janja (2017). Poissonov proces pri neživljenjskih zavarovanjih (PDF). Fakulteta za naravoslovje in matematiko, Univerza v Mariboru (magistrsko delo). Pridobljeno 14. julija 2021.

Zunanje povezave

• »Law of large numbers«. Encyclopedia of Mathematics. EMS Press. 2001 [1994].
• Weisstein, Eric Wolfgang. »Weak Law of Large Numbers«. MathWorld.
• Weisstein, Eric Wolfgang. »Strong Law of Large Numbers«. MathWorld.
• Animations for the Law of Large Numbers by Yihui Xie using the R package animation
• Apple CEO Tim Cook said something that would make statisticians cringe. "We don't believe in such laws as laws of large numbers. This is sort of, uh, old dogma, I think, that was cooked up by somebody [..]" said Tim Cook and while: "However, the law of large numbers has nothing to do with large companies, large revenues, or large growth rates. The law of large numbers is a fundamental concept in probability theory and statistics, tying together theoretical probabilities that we can calculate to the actual outcomes of experiments that we empirically perform. explained Business Insider